多目标优化（MOO）旨在同时优化多个冲突的目标，并在机器学习中发现了重要的应用，例如最大程度地减少分类损失和差异，以在处理不同的人群方面以保持公平。最佳性，进一步优化一个目标至少将至少损害另一个目标，而决策者需要全面探索多个Optima（称为Pareto Front），以确定一个最终解决方案。我们解决了寻找帕累托阵线的效率。首先，使用随机多偏差下降（SMGD）从头开始寻找前部，对于大型神经网络和数据集很昂贵。我们建议基于预测器 - 校正方法来探索帕累托阵线作为一些初始Optima的歧管。其次，对于每个探索步骤，预测变量求解一个大规模的线性系统，该系统在模型参数数量中二次缩放，并且需要一个反向传播来评估求解器的二阶Hessian-vector产品。我们提出了一个只能线性缩放的高斯 - 纽顿近似，并且只需要每次迭代的一阶内产物。这还允许在大约求解线性系统时，在微小和共轭梯度方法之间进行选择。这些创新使大型网络成为可能的预测器 - 校准。关于多目标（公平和准确性）错误信息检测任务的实验表明，1）预测器 - 矫正器方法可以在更少的时间内找到比或与SMGD更好或与SMGD相似的方法； 2）提出的一阶方法不会损害二阶方法识别的帕累托前沿的质量，同时进一步缩短了运行时间。
translated by 谷歌翻译
血氧水平依赖性（BOLD）用母体高氧可以评估胎盘内的氧运输，并已成为研究胎盘功能的有前途的工具。测量信号随着时间的变化需要在时间序列的每个体积中分割胎盘。由于大胆的时间序列中的数量大量，现有研究依靠注册将所有卷映射到手动分段模板。由于胎盘由于胎儿运动，母体运动和收缩而导致大变形，因此这种方法通常会导致大量废弃体积，而注册方法失败。在这项工作中，我们提出了一个基于U-NET神经网络体系结构的机器学习模型，以自动以粗体MRI分割胎盘，并将其应用于时间序列中的每个卷。我们使用边界加权损失函数来准确捕获胎盘形状。我们的模型经过训练和测试，并在91位包含健康胎儿的受试者，胎儿生长限制的胎儿以及BMI高的母亲中进行了测试。当与地面真实标签匹配时，我们的骰子得分为0.83 +/- 0.04，并且我们的模型在粗体时间序列中可靠地分割量氧和高氧点的量。我们的代码和训练有素的模型可在https://github.com/mabulnaga/automatic-placenta-mentegation上获得。
translated by 谷歌翻译
通过移动机器人收集数据的自动化有望提高环境调查的功效，但要求该系统自主确定如何在避免障碍的同时采样环境。现有的方法，例如Boustrophedon分解算法，可以将环境完全覆盖到指定的分辨率上，但是在许多情况下，分布分辨率进行采样将产生长的路径，并具有不可算数的测量值。减少这些路径可能会导致可行的计划，而以分配估计精度为代价。这项工作探讨了分布精度和小路分解算法的路径长度之间的权衡。我们通过计算指标来量化算法性能，以在环境分布中计算蒙特卡洛模拟中的准确性和路径长度。我们强调的是，应将一个目标优先于另一个目标，并提出对算法的修改，以通过更均匀地采样来提高其有效性。这些结果证明了Boustrophedon算法的智能部署如何有效指导自主环境抽样。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
我们提出了一种算法，即傅立叶活动识别（FAR），以供无人机视频活动识别。我们的配方使用一种新颖的傅立叶对象分解方法将人类剂（通常很小）与背景区分开。我们的分离技术在频域中运行，以表征空间像素的时间变化的程度，并利用傅立叶变换的卷积 - 倍增性属性，以将此表示形式映射到从网络中获得的相应对象背景纠缠的特征。为了封装上下文信息和远程时空依赖性，我们提出了一种新颖的傅立叶注意算法，该算法通过对频域中的加权外产物进行建模来模仿自我注意的好处。我们的傅立叶注意力表述比自我注意力所使用的计算要少得多。我们已经在多个无人机数据集上评估了我们的方法，包括无人机人RGB，无人机人类夜，无人机动作和NEC无人机。我们证明，在前1位的准确性中，相对改善为8.02％-38.69％，并且在先前的工作中的相对提高了3倍。
translated by 谷歌翻译
我们考虑临床应用异常定位问题。虽然深入学习推动了最近的医学成像进展，但许多临床挑战都没有完全解决，限制了其更广泛的使用。虽然最近的方法报告了高的诊断准确性，但医生因普遍缺乏算法决策和解释性而涉及诊断决策的这些算法，这是关注这些算法。解决这个问题的一种潜在方法是进一步培训这些模型，以便除了分类它们之外，除了分类。然而，准确地进行这一临床专家需要大量的疾病定位注释，这是对大多数应用程序来实现昂贵的任务。在这项工作中，我们通过一种新的注意力弱监督算法来解决这些问题，该弱势监督算法包括分层关注挖掘框架，可以以整体方式统一激活和基于梯度的视觉关注。我们的关键算法创新包括明确序号注意约束的设计，实现了以弱监督的方式实现了原则的模型培训，同时还通过本地化线索促进了产生视觉关注驱动的模型解释。在两个大型胸部X射线数据集（NIH Chescx-Ray14和Chexpert）上，我们展示了对现有技术的显着本地化性能，同时也实现了竞争的分类性能。我们的代码可在https://github.com/oyxhust/ham上找到。
translated by 谷歌翻译
在处理极大数量的不同应用程序和平台和根本原因时，调试崩溃的一个重要步骤，是挑战的重要步骤。大规模错误报告系统，例如，Windows错误报告（WER），通常依赖于手动开发的规则和启发式，以使导致崩溃的归咎框架。随着新的应用程序和功能，常规引入和现有应用程序在新环境中运行，开发新规则并维护现有的应用程序变得非常具有挑战性。我们提出了一个数据驱动的解决方案来解决问题。我们从第一个大规模的大规模实证研究开始于362克崩溃，并将其指责的方法报告给在现场运行的成千上万的应用程序。分析为崩溃发生的地点和方式以及如何责备崩溃的方法提供了宝贵的见解。这些洞察力使我们能够开发DeepAnalyze，这是一种用于识别堆栈迹线中的指示框架的新型多任务序列标记方法。我们评估了我们的模型，从四个流行的Microsoft应用程序中获得超过一百万个现实世界崩溃，并显示使用一组应用程序崩溃的DeepAnalyze，不仅可以准确定位相同应用程序的崩溃，还可以为其他应用程序启动崩溃定位零到很少的额外训练数据。
translated by 谷歌翻译
我们基准了一个简单学习模型的亚季节预测工具包，该工具包优于操作实践和最先进的机器学习和深度学习方法。这些模型，由Mouatadid等人引入。 （2022），包括（a）气候++，这是气候学的一种适应性替代品，对于降水而言，准确性9％，比美国运营气候预测系统（CFSV2）高9％，熟练250％； （b）CFSV2 ++，一种学习的CFSV2校正，可将温度和降水精度提高7-8％，技能提高50-275％； （c）持久性++是一种增强的持久性模型，将CFSV2预测与滞后测量相结合，以将温度和降水精度提高6-9％，技能提高40-130％。在整个美国，气候++，CFSV2 ++和持久性++工具包始终优于标准气象基准，最先进的机器和深度学习方法，以及欧洲中等范围的天气预报集合中心。
translated by 谷歌翻译
在2019年的大流行病（Covid-19）感染SARS-COV-2的小型冠状病病（Covid-19）中，很快就迅速进行了大量的预防和治疗药物研究，但迄今为止，这些努力取得了不成功。我们的目标是利用药物重新淘点的管道优先考虑可重复的药物，系统地整合多个SARS-COV-2和药物相互作用，深图神经网络和基于体外/人口的验证。我们首先通过CTDBase收集涉及Covid-19患者治疗的所有可用药物（n = 3,635）。我们基于病毒诱饵，宿主基因，途径，药物和表型之间的相互作用构建了SARS-COV-2知识图。基于生物相互作用，使用深图神经网络方法来得出候选表示。我们利用临床试验验证药物优先考虑候选药物，然后用它们的遗传谱，体外实验疗效和电子健康记录验证。我们突出了前22名药物，包括阿奇霉素，阿托伐他汀，阿司匹林，对乙酰氨基酚和阿巴替代醇。我们进一步确定了可能协同靶向Covid-19的药物组合。总之，我们证明了广泛的相互作用，深度神经网络和严格验证的整合可以促进Covid-19治疗的候选药物的快速鉴定。这是一个post-poser-review，在科学报告中发布的文章的Pre-Copyedit版本最终经过身份验证版本可在线获取：https://www.researchsquare.com/article/rs-114758/v1
translated by 谷歌翻译
在本文中，我们通过变换量化压缩卷积神经网络（CNN）权重。以前的CNN量化技术倾向于忽略权重和激活的联合统计，以给定的量化比特率产生次优CNN性能，或者在训练期间考虑其关节统计，并且不促进已经训练的CNN模型的有效压缩。我们最佳地转换（去相关）并使用速率失真框架来量化训练后的权重，以改善任何给定的量化比特率的压缩。变换量化在单个框架中统一量化和维度减少（去相关性）技术，以促进CNN的低比特率压缩和变换域中的有效推断。我们首先介绍CNN量化的速率和失真理论，并将最佳量化呈现为速率失真优化问题。然后，我们表明，通过在本文中获得的最佳端到端学习变换（ELT），可以使用最佳位深度分配来解决此问题。实验表明，变换量化在雷则和非烫伤量化方案中推进了CNN压缩中的技术状态。特别是，我们发现使用再培训的转换量化能够压缩CNN模型，例如AlexNet，Reset和DenSenet，以非常低的比特率（1-2比特）。
translated by 谷歌翻译